Năm 604, Văn Đế chết, Dượng Đế nối ngôi, phong cho Tô Uy làm Đại tướng quân. Năm 607, Cao Quýnh và Hạ Nhược Bật bị Dượng Đế ghét và giết chết, Tô Uy cũng bị liên lụy, bị miễn quan chức. Sang năm sau, ông được phong làm Thái thú Lỗ quận, sau đó Dượng Đế triệu ông về kinh tham dự chính quyền, sau bái làm Thái thường khanh.

Năm 609, ông đem quân công đánh Thổ Cốc Hồn, giành chiến thắng, được thăng làm Tả Quang lộc đại phu. Sang năm 610, ông lại được phong Nạp ngôn, cùng Tả Dực Vệ Đại tướng quân Vũ Văn Thuật, Hoàng Môn thị lang Bùi Củ, Ngự sử đại phu Bùi Uẩn, Nội sử thị lang Ngu Thế Cơ nắm quyền trong chính phủ, được gọi là Ngũ quý.

Sang năm 612, khi Văn Đế chinh phạt Cao Câu Ly, lại phong ông làm Tả Vũ Vệ đại tướng quân, Quang lộc đại phu, tước Ninh Lăng hầu, sau đó thăng làm Phòng quốc công. Lúc đó ông đã 70 tuổi, dâng biểu từ chối, Dượng Đế không nghe, lại phong ông làm Tham chưởng tuyển sự. Sau đó, ông cùng Dượng Đế xuất chinh Liêu Đông, được phong Hữu Ngự vệ đại tướng quân.

Khi quần hùng nổi dậy kháng Tùy, Tô Uy nhiều lần khuyên Dượng Đế tiết giảm lao dịch và chiến tranh để giảm bớt sự căm phẫn của dân, Dượng Đế không nghe.

Năm 615, Dượng Đế đến Nhạn Môn quan, bị Thủy Tất Khả hãn của Đột Quyết bao vây. Các đại thần khuyên Dượng Đế phá vòng vây thoát ra, Tô Uy can ngăn không nên khinh suất mạo hiểm, Dượng Đế đồng tình. Sau khi quân Đột Quyết giải vây rút về, Dượng Đế muốn đến Lạc Dương, Tô Uy can ngăn, khuyên Dượng Đế đến Trường An vì trong nước đã đại loạn, không nên tiếp tục tuần du nữa. Dượng Đế không nghe, vẫn đến Đông Đô.

Tháng 4 năm 616, Dượng Đế hỏi Vũ Văn Thuật về các cuộc khởi nghĩa trong nước, Thuật nói đã bị dẹp gần hết. Dượng Đế lại hỏi Tô Uy, Uy thành thực trả lời rằng triều Tùy đã rất nguy cấp và cảnh báo Dượng Đế. Dượng Đế nghe xong tức giận, giáng ông làm dân thường. Sau đó có người tố cáo ông có tư thông với Đột Quyết, Dượng Đế muốn giết. Ông tự biện hộ rằng mình phục vụ hai triều vua nhà Tùy hơn 30 năm mà hành vi còn làm vua nghi ngờ thì tội đáng chết vạn lần, Dượng Đế bèn tha không giết.